Co-RL: Unsupervised Reasoning Emerges from Diverse Cohort in Multi-agent RL
多智能体 RL 中通过多样化群组涌现无监督推理
🧭 多智能体无标签 RL · 推理训练 ★ 深度解读
Johns Hopkins University · UC San Diego · University of Exeter · Independent Researcher
用多个异构模型的同行投票作为无标签奖励，打破自奖励偏差，在文本与多模态推理上匹配甚至超过有监督 RL
📌 工作参考价值（4 点）
- 在搜索/推荐里的生成式任务（query 改写、商品标题/广告文案生成、Push 消息选词）缺少 ground-truth 标注时，可以用多个异构模型互相生成 majority-vote 伪标签作为 GRPO 奖励；reward 规则就是“答案是否等于 peer 的多数投票”，无需 reward model 或 LLM judge。
- 多样性要落到实处：选不同模型家族、不同参数规模、不同输入改写（原始 prompt 与改写 prompt 分开投喂）以及独立 optimizer 状态，能显著降低伪标签错误相关性；上线前可用 error-overlap 或 Cohen's kappa 快速筛选互补性强的模型 pair。
- 工程上轻量：每个模型独立采样 K 个 response（论文里 K=8/12，温度 1.0），各自做 GRPO，agent 间仅通过 cross-reward 耦合、不共享梯度；比 debate/LLM judge 更省推理预算，也方便跨团队部署和隐私隔离。
- 如果业务里已经有多套不同架构的生成/排序模型（如 Qwen、Llama、Gemma 等），可以直接交叉训练、单次 run 同时提升，论文三 agent 实验平均提升 6–8%，并匹配有监督 GT reward，适合标注稀缺但现成模型多的场景。